SK hynix HBF：用高頻寬快閃記憶體補足 HBM 容量瓶頸

☘️ Article

✍️ Abstract

• HBF 核心概念：SK hynix 提出高頻寬快閃記憶體，以大容量 NAND Flash 補足 HBM 容量，專門服務大型 LLM 推論。
• 記憶體分工：HBF 不取代 HBM，旨在重新平衡 容量、頻寬、延遲、成本。

HBF 解決痛點

• HBM 容量瓶頸：大型 AI 模型 (如：MoE) 權重遠超 GPU 附近 HBM 容量，全依賴 HBM 將面臨 昂貴、空間有限、難以擴充 的問題。
• 記憶體分層解方：HBM 存放需 極低延遲、最高頻寬 的資料，HBF 存放 容量大、以讀取為主 的資料。

關鍵技術目標

• 容量升級：HBF 目標容量達 HBM 10 倍。
• TB/s 級頻寬：透過 3D 堆疊、TSV 矽穿孔 提高平行度，達成 TB/s 級循序讀取頻寬。
• 微秒級延遲：目標延遲 < 5 微秒，慢於 DRAM／HBM，但快於傳統 SSD。

AI 推論優勢

• 鄰近加速器大容量：將大量 Flash 置於 xPU (如：GPU、NPU) 附近，適合存放大型 MoE 等巨大模型權重。
• 讀取密集型最佳化：針對大量讀取、少寫入的 AI 負載，如：模型權重、預先計算 KV Cache、RAG。
• 避開 NAND 劣勢：前述資料無需頻繁修改，使 NAND 缺點不顯著。

記憶體階層定位

• 雙層架構：xPU 連接具 超高頻寬、超低延遲 但 昂貴、容量小 的 HBM，以及具 TB/s 級頻寬、微秒級延遲 且 成本較低、大容量 的 HBF。
• 補充而非取代：SK hynix 旨在透過記憶體分層補充 HBM，避免為求容量而大量堆疊 昂貴、容量小 的 HBM。
• 冷熱資料分流：最熱、需即時運算 的資料留於 HBM，大量、以讀取為主 的模型資料置於 HBF。
• HBF 總結：為 AI 加速器打造的 超高速、大容量 NAND，以近 xPU 方式補足 HBM 容量問題，但 延遲、效能 仍低於 HBM。
• 規格聲明：簡報標示的 10 倍容量、TB/s、< 5 微秒 為技術目標，不應視為量產固定規格。